深度重新结合因实现最新的机器学习任务而被认可。但是，这些体系结构的出色性能取决于培训程序，需要精心制作以避免消失或爆炸梯度，尤其是随着深度$ l $的增加。关于如何减轻此问题，尚无共识，尽管广泛讨论的策略在于将每一层的输出缩放为$ \ alpha_l $。我们在概率环境中显示标准I.I.D.初始化，唯一的非平凡动力学是$ \ alpha_l = 1/\ sqrt {l} $（其他选择导致爆炸或身份映射）。该缩放因子在连续的时间限制中对应于神经随机微分方程，这与广泛的解释相反，即深度重新连接是神经普通微分方程的离散化。相比之下，在后一种制度中，具有特定相关初始化和$ \ alpha_l = 1/l $获得稳定性。我们的分析表明，与层指数的函数之间的缩放比例和规律性之间存在很强的相互作用。最后，在一系列实验中，我们表现出由这两个参数驱动的连续范围，这在训练之前和之后会共同影响性能。
translated by 谷歌翻译
我们探索不同的策略，将先前的领域知识整合到深神经网络（DNN）的设计中。我们专注于图形神经网络（GNN），其用例是估计表示为图的化学系统（分子和晶体）的势能。我们将域知识的两个要素集成到GNN的设计中，以限制和正规化其学习，以提高准确性和泛化。首先，关于原子之间不同类型关系（化学键）存在的知识用于调节GNN中的节点的相互作用。其次，对某些物理数量的相关性的知识用于使用简单的多任务范式将学习的特征限制为更高的物理相关性。我们通过将它们应用于两个依赖不同机制来传播节点和更新节点状态的不同机制的架构来证明我们的知识集成的一般适用性。
translated by 谷歌翻译
我们在RGB-D数据中解决了人们检测的问题，在该数据中，我们利用深度信息开发了利益区域（ROI）选择方法，该方法为两种颜色和深度CNN提供建议。为了结合两个CNN产生的检测，我们根据深度图像的特征提出了一种新型的融合方法。我们还提出了一个新的深度编码方案，该方案不仅将深度图像编码为三个通道，而且还增强了分类信息。我们对公开可用的RGB-D人数据集进行了实验，并表明我们的方法优于仅使用RGB数据的基线模型。
translated by 谷歌翻译
插件播放（PNP）框架使得将高级图像deno的先验集成到优化算法中成为可能，以有效地解决通常以最大后验（MAP）估计问题为例的各种图像恢复任务。乘法乘数的交替方向方法（ADMM）和通过denoing（红色）算法的正则化是这类方法的两个示例，这些示例在图像恢复方面取得了突破。但是，尽管前一种方法仅适用于近端算法，但最近已经证明，当DeOisers缺乏Jacobian对称性时，没有任何正规化解释红色算法，这恰恰是最实际的DINOISERS的情况。据我们所知，没有任何方法来训练直接代表正规器梯度的网络，该网络可以直接用于基于插入梯度的算法中。我们表明，可以在共同训练相应的地图Denoiser的同时训练直接建模MAP正常化程序梯度的网络。我们在基于梯度的优化方法中使用该网络，并获得与其他通用插件方法相比，获得更好的结果。我们还表明，正规器可以用作展开梯度下降的预训练网络。最后，我们证明了由此产生的Denoiser允许更好地收敛插件ADMM。
translated by 谷歌翻译